Incremental Model-Based Estimation Using Geometric Consistency Constraints

We present a physics-based deformable model framework for the incremental object shape estimation and tracking in image sequences. The model is estimated by an optimization process that relates image-based cost functions to model motion via the Lagrangian dynamics equations. Although previous approaches have investigated various combinations of cues in the context of deformable model shape and motion estimation, they generally assume a fixed, known, model parameterization, along with a single model discretization in terms of points. Our technique for object shape estimation and tracking is based on the incremental fusing of point information and new line information. Assuming that a deformable model has been initialized to fit part of a complex object (e.g., a bicycle) new line features belonging to the object but excluded from the initial model parameterization are identified during tracking. The identification is based on a set of novel model-based geometric consistency checks relating separate, independent tracking processes at the image feature and model levels, respectively. Identified features are reconstructed and integrated into the model parameterization which results in more accurate object shape estimation and subsequently they are used to increase model coverage in the image, thereby increasing tracking robustness. We derive the forward transfer under the action of the Euclidean group and Jacobian matrices for the underlying line feature mapping. New corresponding image alignment and generalized forces are introduced as soft constraints and combined with the forces derived from model contours to incrementally improve its motion estimation. We demonstrate our approach on image sequences with complex object shape and motion. Key-words: deformable models, geometric constraints, constrained optimization, bundle adjustement INRIA Rhône-Alpes, 655, avenue de l’Europe, 38330 Montbonnot, France, e-mail: [email protected] University of Pennsylvania, 200 South 33rd Street Philadelphia, PA 19104-6389, USA, e-mail: [email protected] University of Toronto, Toronto, Ontario, Canada M5S 3G4, e-mail: [email protected] Estimation Incrémentale Basée Sur un Modèle Utilisant des Contraintes Géométrique de Consistance Résumé : On présente un approche basée sur la physique des modèles deformables pour l’estimation incrémentale de structure et suivi de mouvement dans des séquences d’images. Le modèle est estimée par un processus d’optimisation qui lie des fonctions de coût basée sur les images, avec le mouvement du modèle, grâce à des équations dynamiques Lagrangienes. Les approches précédants qui ont étudié une variété des combinaisons des modalités dans le contexte d’estimation de structure et du mouvement d’un modèle deformable, ont généralement assumé une seule représentation, fixe et connue, pour la paramétrisation du modèle, et une seule discrétisation avec des points. Notre technique pour l’estimation de structure et du mouvement est basse sur la fusion incrèmentale des informations issues des points et des nouvelles informations issues des lignes. En supposant qu’un modèle déformable à été aligné avec une partie d’un objet complexe (par exemple, un vélo), des nouvelle lignes appartenant á l’objet, mais non inclus dans la paramétrisation initiale du modèle, sont identifié pendant le suivi. L’identification est basée sur un nouvelle ensemble de tests de consistance, en lisant des processus différentes, independentes au niveau de l’image et du modèle. Les cibles identifiés sont reconstruites et intégrées dans la représentation du modèle, en résulte une estimation plus précise de la structure du modèle, et il sont par conséquent utilisés pour augmenter la complexité du modèle dans les images, en améliorant la robustesse du suivi. On dérive les équations de transfert pour le groupe Euclidienne et les matrices Jacobiennes pour les lignes correspondantes. De nouvelles forces d’alignement dans les images et de nouvelles forces généralisés sont introduites comme des contraintes faibles et combinées avec les forces dérives du contour pour améliorer incrementalement l’estimation de mouvement du modèle. On démontre notre approche sur des séquences d’images contenant des objets avec des structures et mouvements complexes. Mots-clés : modèles deformables, contraintes géométriques, optimisation contraint, ajustement des faisceaux Incremental Model-Based Estimation Using Geometric Consistency Constraints 3